Hai năm sau khi Khổng Tử qua đời, ngôi nhà cũ của ông ở Khúc Phụ đã được hoàng tử của nước Lỗ đặt làm nhà thờ. Vào năm 205 TCN, hoàng đế Hán Cao Tổ là người đầu tiên dâng lễ tại miếu thờ Khổng Tử ở Khúc Phụ để các hoàng đế và quan lại làm theo. Về sau, các hoàng đế sẽ đến thăm miếu Khổng Tử tại Khúc Phụ khi họ đăng cơ hoặc trong những dịp quan trọng như kết thúc chiến tranh. Tổng cộng đã có 12 vị vua với 20 lần ghé thăm riêng tới Khúc Phụ. Ngoài ra, 100 hoàng đế khác cũng gửi đại diện thông quan 196 lần viếng thăm khác. Căn nhà ba gian ban đầu của Khổng Tử được di rời khỏi khu vực miếu thờ trong quá trình xây dựng lại vào năm 611. Năm 1012 và 1094, dưới thời nhà Tống, ngôi miếu được mở rộng thành một quần thể thống nhất với ba phần và bốn sân, trong đó khu vực cuối cùng có hơn 400 căn phòng được bố trí. Ngôi miếu bị phá hủy trong cuộc hỏa hoạn năm 1214 dưới triều đại Nhà Kim sau đó được phục hồi nguyên trạng vào năm 1302 dưới thời nhà Nguyên. Đến năm 1331, một bức tường bao quanh ngôi miếu đã được xây dựng mang mô hình của một cung điện Hoàng gia.

Sau một trận tàn phá khác vào năm 1499, ngôi miếu đã được phục hồi và giữ nguyên trạng cho đến ngày nay. Năm 1724, một vụ cháy đã phá hủy đại sảnh chính cùng nhiều tác phẩm điêu khắc. Việc khôi phục hoàn thành vào năm 1730. Nhiều tác phẩm điêu khắc bị hủy hoại trong Cách mạng Văn hóa năm 1966 đã được thay thế. Tổng cộng miếu thờ đã trải qua 15 cuộc cải tạo lớn, 31 lần sửa chữa lớn và rất nhiều những lần xây dựng nhỏ.

Miếu thờ Khổng Tử chính được xây dựng tại Cù Châu bởi nhánh của gia tộc họ Khổng sinh sống ở phía nam.